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M.^cnnsvstem und v»-f a hr e n zur ftmlysP nnd Answertung von 



Die Erfindung betrifft ein Mikroskopsystem zur Analyse und Auswertung von 
Mehrfachfarbungen eines mikroskopischen Objekts. Im Besonderen betnfft d.e 
Erf.ndung ein Mikroskopsystem zur Analyse und Auswertung von 
Mehrfachfarbungen in einem mikroskopischen Objekt, m.t e.nen 
Scanmikroskop, das einen Beleuchtungs.ichtstrahl und e.nen 
Detektionslichtstrahl definiert, einem SP-Modul, das im Detektionslichtstrahl 
vor mindestens einem Detektor angeordnet ist, und ein Rechnersystem, 
wobei das Rechnersystem ebenfalls einen Speicher umfasst. 
Ferner betrifft die Erfindung ein Verfahren zur Analyse und Auswertung von 
Mehrfachfarbungen eines mikroskopischen Objekts. 

Des Weiteren betrifft die Erfindung ein Verfahren zur Einstellung eines 
Mikroskops dass zur Aufnahme von Mehrfachfarbungen e.nes 
mikroskopischen Objekts eingesetzt wird. 

DE 100 65 783 A1 offenbart eine Technik zur Erfassung von Korrelationen in 
mikroskopischen Anwendungen. 

Der Erfindung liegt die Aufgabe zugrunde ein Mikroskopsystem zu schaffen, 
mit dem auf zuverlassige Weise die Fluoreszenzspektren von mehreren .n 
einer Probe vorhandenen Farbstoffen getrennt werden konnen. 
Die objektive Aufgabe wird durch ein Mikroskopsystem gelost, das die 
Merkmale des Patentanspruchs 1 aufweist. 

Ferner liegt der Erfindung die Aufgabe zugrunde ein Verfahren zu schaffen mit 
dem auf zuverlassige Weise die Fluoreszenzspektren von mehreren m einer 
Probe vorhandenen Farbstoffen getrennt werden konnen. 
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Die obige objektive Aufgabe wird durch ein Verfahren gelost, das die 
Merkmale des Patentanspruchs 10 aufweist. 

Die Erfindung hat den Vorteil, dass eine automatische Zuordnung von 
gemessenen Spektren zu diskreten Farbstoffspektren moglich ist. Gemessene 
5 diskretisierte Farbstoffspektren sind als Referenzdatensatz in einer Datenbank 
abgelegt. Die auf dem Rechnersystem laufende Software vergleicht nach 
einer Transformation der Daten von aufgenommenen Spektren und der in der 
Datenbank abgelegten diskreten Referenzspektren. Die Software ordnet so 
die transformierten Referenzspektren den gemessenen Farbstoffspektren zu. 
1 0 Ferner ist das Verfahren zur Analyse und Auswertung von Mehrfachfarbungen 
in einem mikroskopischen Objekt mit einem Scanmikroskop von Vorteil. 
Zunachst werden Spektren der im Objekt vorhandenen Farbstoffe mit einem 
SP-Modul aufgenommen. Aus den aufgenommenen Spektren werden 
reprasentierende elektrische und, nach Diskretisierung, digitale Signale 
15 ermittelt. Durchfuhren einer Koordinatentransformation der Daten der 
ermittelten Spektren und Durchfuhren der Transformation der in einer 
Datenbank abgelegten diskreten Farbstoffspektren werden in der Software 
des Rechnersystems durchgefuhrt. Der nach der Transformation entstandene 
Merkmalsraum (ein Hyperraum mit sehr vielen Dimensionen) wird in Bereiche 
20 aufgeteilt, von denen jeder einem bestimmten Farbstoff zugeordnet ist. 
SchlieGlich werden die in den Merkmalsraum transformierten diskreten 
Referenz-Farbstoffspektren den gemessenen und transformierten Spektren 
zugeordnet. 

Weitere vorteilhafte Ausgestaltungen der Erfindung konnen den 
25 Unteranspruchen entnommen werden. 

In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und 
wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen: 
Pig -i eine schematische Darstellung eines Scanmikroskops, 

wobei den Detektoren ein SP Modul vorgeschaltet ist; 
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Fig. 2 eine schematische Beschreibung der Handhabung und 

Verarbeitung der Messwerte (Intensitat), die von den 
mehreren Detektoren bestimmt werden; 

Fig. 3 eine graphische Darstellung der spektralen Messwerte im 

5 Intensitatsraum und parallel dazu im Projektionsraum; 

Fig. 4 eine Projektion der Messwerte auf eine 

Hyperebene/Hyperkugel; 

Fig. 5 ein Ausfuhrungsbeispiel von vier in einem Objekt 

gemessene Farbstoffspektren, die in den Eckpunkten 
10 eines Polygons im Hyperraum angeordnet sind; 

Fig. 6 eine Darstellung des Polygons im transformierten 

Hyperraum mit Verbindungslinien auf denen potentielle 
Mischzustande von Farbstoffspektren liegen; 

Fig. 7 eine Darstellung der gemessenen Spektren der in einer 

15 Probe vorhandenen Farbstoffe; . 

Fig. 8 eine Oberlagerung von L Farbspektren mit den 

gemessenen Spektren im Hyperraum; 

Fig. 9 eine schematische Darstellung der Zuordnung der L 

Farbstoffspektren zu den gemessenen Spektren der 
20 Farbstoffe an Hand der Schwerpunkte der gemessenen 

Spektren; 

Fig. 10 ein anderes Ausfuhrungsbeispiel der Zuordnung der L 

Farbstoffe zu den gemessenen Spektren der in einem 
Objekt vorhandenen Farbstoffe; 

25 Fig. 11 eine Darstellung der Eigenwerte an Hand einer 

Punktwolke eines gemessenen Spektrums. 

Begriffsdefinition: 

Gemessene Spektren: 

Spektren die mit dem Mikroskopsystem gemessen werden. Diese Spektren 
30 konnen Mischzustande aus Farbstoffen darstellen. 
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Referenz-Farbstoffspektren: 

Sind gemessene Farbstoffspektren der in dem Objekt vorhandenen reinen 
Farbstoffe, wobei keinerlei Mischzustande auftreten. In der weiter unten 
detailliert beschriebenen Merkmalsraumdarstellung, bilden diese die 
5 Eckpunkte des Polygons im Hyperraum. 

Diskretisierte Farbstoffspektren: 

Spektren die nach Messung und Digitalisierung in einem Rechner in 
diskretisierter und digitaler Form vorliegen und in einer Datenbank hinterlegt 
sein konnen. Diese konnen durch eine vom Computersystem per Algorithmus 
10 durchgefuhrte Transformation in einen hochdimensionalen Merkmalsraum 
(Hyperraum) ohne Informationsverlust uberfuhrt werden. 

Objekt: 

Das Objekt wird in der nachstehenden Beschreibung auch als Probe oder 
Specimen bezeichnet und ist in der Regel biologisches Material. 

15 In Fig. 1 ist das Ausfuhrungsbeispiel eines konfokalen Scanmikroskops 100 
schematisch gezeigt. Dies soli jedoch nicht als Beschrankung der Erfindung 
aufgefasst werden. Der von mindestens einem Beleuchtungssystem 1 
kommende Beleuchtungslichtstrahl 3 wird von einem Strahlteiler oder einem 
geeigneten Umlenkmittel 5 zu einem Scanmodul 7 geleitet. Bevor der 

20 Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft, passiert dieser ein 
Beleuchtungspinhole 6. Das Scanmodul 7 umfasst einen kardanisch 
aufgehangten Scanspiegel 9, der den Beleuchtungslichtstrahl 3 durch eine 
Scanoptik 12 und eine Mikroskopoptik 13 hindurch uber bzw. durch ein Objekt 
15 fuhrt. Das Beleuchtungssystem 1 kann derail ausgestaltet sein, dass es 

25 aus dem Licht eines Lasers 10, WeilSlicht erzeugt. Hierzu ist ein 
mikrostrukturiertes Element 8 oder eine tapered Glasfaser vorgesehen. Bei 
biologischen Objekten 15 (Praparaten) oder transparenten Objekten kann der 
Beleuchtungslichtstrahl 3 auch durch das Objekt 15 gefuhrt werden. Zu diesen 
Zwecken werden nichtleuchtende Praparate ggf. mit einem geeigneten 

30 Farbstoff und oftmals auch mit mehreren Farbstoffen prapariert (nicht 
dargestellt, da etablierter Stand der Technik). Die in dem Objekt 15 
vorhandenen Farbstoffe werden durch den Beleuchtungslichtstrahl 3 angeregt 



und senden Licht in einem ihnen eigenen charakteristischen Bereich des 
Spektrums aus. Dieses vom Objekt 15 ausgehende Licht definiert e.nen 
Detektionslichtstrahl 17. Dieser gelangt durch die Mikroskopoptik 13, d.e 
Scanoptik 12 und uber das Scanmodul 7 zum Umlenkmittel 5. passiert d.eses 
und gelangt uber ein Detektionspinhole 18 auf mindestens einen Detektor 36, 
37 der jeweils als Photo-multiplier ausgefuhrt ist. Es tat dem Fachmann klar, 
dass auch andere Detektionskomponenten, wie z.B. Dioden, Diodenarrays, 
Photomultiplierarrays. CCD Chips oder CMOS Bildsensoren eingesetzt 
werden konnen. Der vom Objekt 15 ausgehende bzw. defimerte 
Detektionslichtstrahl 17 ist in Fig. 1 als gestrichelte Linie dargestellt. In den 
Detektoren 36, 37 werden elektrische, zur Leistung des vom Objekt 15 
ausgehenden Lichtes, proportionate Detektionssignale erzeugt. Da, w.e 
bereits oben erwahnt, vom Objekt 15 Licht nicht nur einer Wellenlange 
ausgesandt wird, ist es sinnvoll vor dem mindestens einen Detektor 36, 37 em 
SP-Modul 20 vorzusehen. Die von dem mindestens einen Detektor 36, 37 
erzeugten Daten werden an ein Rechnersystem 23 weitergegeben. Dem 
Rechnersystem 23 ist mindestens ein Peripheriegerat 27 zugeordnet. Das 
Peripheriegerat 27 kann z.B. ein Display sein, auf dem der Benutzer Hinwe.se 
zur Einstellung des Scanmikroskops 100 erhalt oder den aktuellen Setup und 
auch die Bilddaten in graphischer Form entnehmen kann. Ferner ist m.t dem 
Rechnersystem 23 ein Eingabemittel 28 zugeordnet, das z.B. aus e.ner 
Tastatur einer Einstellvorrichtung fur die Komponenten des 
Mikroskopsystems und/oder einer Maus 30 besteht. Ebenso ist dem 
Rechnersystem 23 ein Speicher 24 zugeordnet in dem eine Datenbank oder 
eine aquivalente Datenverwaltungseinrichtung fur die Verwaltung von 
Spektren installiert ist. Ferner ist im Rechnersystem 23 eine Software 25 
Implements, mit der die geeigneten Berechnungen fur das erfindensche 
Verfahren durchgefuhrt werden. Hinzu kommt, dass zusatzlich auf dem 
Display 27 auch Einstellelemente 40, 41 fur die Bildaufnahme dargestellt 
werden. In der hier gezeigten Ausfuhrungsform sind die Einstellelemente 40, 
41 als Schieber dargestellt. Jede andere Ausgestaltung liegt .m 
handwerklichen Konnen eines Fachmanns. 
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Der Detektionslichtstrahl 17 wird mit einem Prisma 31 raumlich spektral 
aufgespalten. Eine weitere Moglichkeit der spektralen Aufspaltung ist die 
Verwendung eines Reflexions-, oder Transmissionsgitters. Der spektral 
aufgespaltene Lichtfacher 32 wird mit der Fokussieroptik 33 fokussiert und 
trifft anschliefcend auf eine Spiegelblendenanordnung 34, 35. Die 
Spiegelblendenanordnung 34, 35, die Mittel zur spektralen, raumlichen 
Aufspaltung, die Fokussieroptik 33 und die Detektoren 36 und 37 werden 
zusammen als SP-Modul 20 (oder Mutibanddetektor) bezeichnet. 

Fig. 2 beschreibt die Handhabung und die Verarbeitung der Messwerte 
(Intensitat), die von den mehreren Detektoren 36, 37 und 38 gewonnen 
werden. In Fig. 1 sind lediglich zwei Detektoren 36, 37 und 38 dargestellt, es 
ist jedoch selbstverstandlich, dass die Zahl der Detektoren auch mehr als zwei 
betragen kann. In Fig. 2 sind hier nur beispielhaft drei Detektoren 
eingezeichnet. Es ist jedoch selbstverstandlich, das die Zahl auch hoher sein 
kann. Die Detektoren 36, 37 und 38 sind in diesem Ausfuhrungsbeispiel als 
PMTs (Photo Multiplier Tubes) dargestellt. Die Messwerte werden zur 
Bewertung lokaler Korrelationen von den PMTs einer elektronischen 
Einrichtung 45 zugefuhrt, das die entsprechende Bewertung, wie unten 
beschreiben, durchfuhrt. Der Einrichtung 45 ist ein Mittel 46 zum Auswahlen 
einer Untermenge aus der Vielzahl von aufgenommenen Spektren 
nachgeschaltet. Die ausgewahlten Spektren werden dem Rechnersystem 23 
zugefuhrt. Das Rechnersystem 23 ist z B. mit dem SP-Modul 20 verbunden. 
Das SP-Modul 20 ermittelt an Hand der ubermittelten spektralen 
Reprasentationen das Ubersprechen und fuhrt eine automatische Einstellung 
durch, womit das Ubersprechen der einzelnen Detektionskanale minimiert 
wird, oder visualisiert diese mit der weiter unten beschriebenen Methode. 

Fig. 3 zeigt eine graphische Darstellung mindestens eines Messwerts 50 im 
Intensitatsraum 51 und parallel dazu im Projektionsraum 52. In der Regel sind 
in einem Objekt mehrere Farbstoffe vorhanden, urn damit bestimmte Bereiche 
eines Objekts zu markieren. Bei der Detektion ist es wichtig die 
aufgenommenen Signale eindeutig den vorhandenen Farbstoffen zuzuordnen. 
Bei der Messung erhalt man eine Mischung von Farbstoffen. Die Mischung 
von Farbstoffen ist mathematisch ein lineares Problem. Jeder Farbstoff, lasst 



sich als Vektor s i mit Anteilen aus spektralen Bandern darstellen. Der von 
den Detektoren gemessene Intensitatsvektor / erklart sich dann als 
I = Y d a i s i +n wobei n der vektorielle Hintergrundanteil bzw. das Rauschen 

i 

ist. In dem in Fig. 3 beschrieben Fall hat man drei Farbstoffe und man 
betrachtet beliebige spektrale Abtastungen (irgendwas zwischen Lambda- 
Scan und Drei-Kanalscan) so liegt der Messwert 50 (Intensitatswert) im Raum 
des Vektors / innerhalb einer Pyramide. Wird der Messwert / 50 auf die 
Einheitskugel des Intensitatsraum projiziert, erhalt man auf der Oberflache 
dieser Einheitskugel 54 Punktwolken. Bei dem Drei-Kanalscan ist dies relativ 
einfach. Die umschlieliende Figur ist immer ein Dreieck, wobei die Eckpunkte 
den Referenzspektren entsprechen, die den puren Farbstoffen entsprechen. 
Dies kann man in extrem einfacher Weise auf dem PC Bildschirm 
visualisieren, indem man ein Dreieck zeichnet und die entsprechenden 
Punktwolken darin platziert. Der Benutzer kann mit seinen Standard visuellen 
Fahigkeiten die Gesamtsituation relativ schnell bewerten und die einfache 
Heuristik „Punktwolken in die ecken bringen" durch Verstellen der 
Einstellungen des Konfokalmikroskops tunen. Bei Messungen mit mehr als 
drei Farbstoffen muss man erst eine Dimensionsreduktion rechnen, urn eine 
entsprechende visuelle Darstellung zu erhalten, wobei Vierecke, Funfecke 
Oder seltsame Polygone erzeugt werden. Diese Visualisierungen haben dann 
aber nicht die Pragmatik des Drei-Farbstoff-Falls und werden schnell zu 
kompliziert. Fur die Praxis sind 3 Farbstoffe aber in den meisten Fallen 
hinreichend. Das Dreieck 55 (Fig. 4) des Projektionsraums kann man sehr 
effektiv zur Visualisierung heranziehen. Dabei werden fur diese Prozedur den 
Ecken 56 des Dreiecks 55 die Kanale der einzelnen Farben zugeordnet. An 
Hand der Lage der Punktwolken bezuglich der Ecken des Dreiecks kann man 
die Aussteuerung bzw. die Trennung der einzelnen Kanale bzw. Farbstoffe 
erkennen. Ziel ist es bei der Messung in die Ecken des Dreiecks zu kommen. 
Bei falscher Einstellung des Scanmikroskops 100 und/oder des SP-Moduls 20 
liegt man hiervon beliebig weit weg. Durch eine Online-Berechnung wahrend 
des Scans erhalt der Benutzer von dem System ein Feedback, urn somit zu 
der Idealeinstellung zu gelangen. 
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Fig. 4 zeigt eine schematische Darstellung der Punktwolken innerhalb des 
Dreiecks 55, das auf dem Display 27 dem Benutzer visuell dargestellt wird. 
Bei der Beobachtung der Probe mit dem Scanmikroskop 100 erhalt man in 
jedem Pixel eine Mischung aus den in der Probe vorhandenen Farbstoffe. Wie 
bereits oben erwahnt, lasst sich jeder Farbstoff als Vektor s, mit Anteilen in 
den spektralen Bandern darstellen. Die gemessene Intensitat erklart sich dann 
als I = Y J ct i s i +n = Ma wobei n der Hintergrundanteil bzw. das Rauschen 

ist, M eine Mischmatrix und die a's die Gewichtung der spektralen 
Komponenten. Beobachtet man die Probe mit einem Scanningmikroskop, mit 
dem ein SP-Modul verbunden ist, und nimmt dabei spektrale Scans auf, so ist 
/ ein mehrdimensionaler Vektor mit P Dimensionen. In der Standard- 
Floureszenzmikroskopie ist oft N = P, bei spektralen Abtastungen gilt P > N 
und man arbeitet im Hyperraum. In diesem Hyperraum bilden sich die 
einzelnen Farbstoffwichtungen als Intensitatskeulen aus. Auf der Basis einer 
Metrik wird die Vektornorm berechnet und anhand des Wertes entschieden, 
ob es sich urn Autofluoreszenzrauschen und Hintergrund oder urn ein 
Nutzsignal handelt (Schwellwertprufung). Der Test entscheidet, ob der 
Datenvektor als Nutzsignal einer weiteren Verarbeitung unterliegt oder nicht. 
Es bietet sich die euklidische Norm an, da dies physikalisch mit Signal- 
Energien vergleichbar ist. Eine Verallgemeinerung auf andere Metriken der 
Linearen Algebra ist jedoch jederzeit moglich und dem Fachmann hinreichend 
bekannt. Das Nutzsignal von den Detektoren 36, 37 wird normiert (und damit 
in seiner Dimensionality urn eine Dimension reduziert). Die 
Verarbeitungseinheit 46 ist im wesentlichen ein Vektorquantisierer, ein 
MittelA/orschrift, das durch eine minimale Verrechnung der aufgenommenen 
Messdaten eine Menge von Reprasentationen innerhalb der Messdaten 
aufzeigt, die wir im folgenden Code-Book-Vektoren nennen. 
Vektorquantisierer im allgemeinen bilden das Bindeglied zwischen 
kontinuierlichen vektoriellen Verteilungen (hier Intensitaten) mit einer diskreten 
Welt von Reprasentationen und sind Stand der Technik in der 
Nachrichtentechnik und Signalverarbeitung. Vektorquantisierer werden 
insbesondere zur verlustbehafteten Obertragung vektorieller Signale genutzt 
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(siehe unter anderem Moon and Stirling, Mathematical methods and 
a.gorithms for signa. processing. London: Prentice Hall, 2000). Der hier 
genutzte Vektorquantisierer hat verhaltnismaliig wenig interne Code-Book- 
Vektoren da eine hohe Kompression der Messdaten auf ein sehr einfaches 
Modell mit hohem Verlust durchgefiihrt wird und ist adaptiv. Die zugeleiteten 
,ntensitatsvektoren werden mit alien Code-Book Vektoren gleichze.bg 
verglichen, wobei eine Teilmenge der ahnlichsten Code-Book Vektoren 
ausgewahlt und angepasst werden. Das Ahnlichkeitsma* und die Teilmenge 
ist ein Freiheitsgrad des Verfahrens und kann variieren. Die Selekt.on w.rd 
dem aktuellen zugeleiteten Vektor etwas ahnlicher gemacht. Im einfachsten 
Fall ist dies immer nur der ahnlichste Code-Book-Vektor. Dies geschieht durch 
mathematische Verfahren wie Abstandsmessungen mit Vektornormen. lokaler 
Aggregation, rekursiv gleitende Mittelwertbildung, ist jedoch fur 
unterschiedliche Typen lernfahiger Vektorquantisierer untersch.edl.cn 
gestaltet Fur eine erfindungsgemalie Ausgestaltung kommt eine V.elzahl 
unterschiedlicher Verfahren in Betracht und hat in der realen Ausgestaltung 
extrem viele Freiheitsgerade. Die Ausgestaltungsmoglichkeiten s.nd dem 
Fachmann hinreichend bekannt und werden nachfolgend kurz umrissen. 
Neben den hier nicht direkt praktikablen Code-Book-Design Verfahren der 
klassischen Clusteranalyse (vergl. Ripley. Pattern Recognition and Neural 
Networks, Cambridge: CUP, 1996) - die wir dennoch hier nicht expl.z.t 
ausschlie&en wollen - bieten sich insbesondere biologisch mot.v.erte 
neuronale Netze an. Luo und Unbehauen schlagen unter anderem e.ne 
Klasse von wettbewerbslernenden neuronalen Architekturen fur die Aufgabe 
der Vektorquantisierung vor (Luo und Unbehauen. Applied Neural Networks 
for Signal Processing. Cambridge: CUP. 1997). Derartige Verfahren 
resultieren aus der Simulation reprasentationsbildender Denkprozesse durch 
Wettbewerbslernen einzelner Neuronen und erzeugen auch in der stark 
vereinfachten Modellbildung der Informatik schon gute Reprasentat.onen. 
Neuere Arbeiten wie zum Beispiel die Dissertation von Bernd Frizke (Bernd 
Fritzke Vektorbasierte Neuronale Netze. Aachen: Shaker. 1998) weisen e.ne 
ganze Sammlung unterschiedlicher. brauchbarer Verfahren auf, d.e .m 
Kontext dieser Me.dung zum Ziel fuhren. Die wesentlichen 
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Unterscheidungskriterien sind die Art und Weise wie die Code-Book-Vektoren 
an die prasentierte Intensitatsverteilung angepasst werden. Diese Adaption 
wird in der Literatur neuronaler Netze als Lernverfahren bezeichnet. Der fur 
diese Erfindung essentielle Eigenschaft ist jedoch die Reprasentationsbildung 
mit der Kernidee des Wettbewerbs unterschiedlicher Instanzen urn 
prasentierte Reize und nicht ein geeignetes mathematische Verfahren bzw. 
eine simulationsahnliche Annaherung an biologische Vorgange. Die konkrete 
Durchfuhrung der Reprasentationsbildung sowie Modelldetails wie Topologien 
zwischen Reprasentationen, Topologieerhaltung zwischen Representation 
und Intensitatsraum, Lern- bzw. Adaptionsregeln sind dem Fachmann 
hinreichend bekannt und im Rahmen dieser Erfindung nicht naher spezifiziert. 
Die wichtigsten dieser an Wettbewerbslernen angelehnten und dem Erfinder 
bekannten Adaptionsverfahren sind im folgenden skizziert und im Detail der 
Literatur zu entnehmen. 

Durch die direkte Simulation von Wettbewerbslernen zwischen Neuronen 
kann zu einer Auspragung des Vektorquantisierers fuhren. Zu diesem Zweck 
wird einer Menge von Neuronen der Eingangsvektor prasentiert, wobei 
zusatzlich eine laterale Verbindung zwischen den Neuronen zugeschaltet 
wird, deren Wichtung lokale Verbindungen verstarkt (positive Verbindung) 
und weiter entfernte hemmt (negative Verbindung). Die Gesamtstruktur wird 
einer Hebbschen Lernregel ausgesetzt, die Korrelationen zwischen Ein- und 
Ausgangen verstarkt. Diese Art der Durchfuhrung ist als einleitendes 
Gedankenmodell in fast alien Lehrbuchern uber neuronale Netze zu finden 
(vergl. Haykin, Neural Networks, New York: MacMaster University Press, 
1994) und wird nur selten fur reale Systeme genutzt. 

So genanntes hartes Wettbewerbslernen initialisiert die Code-Book Vektoren 
zufallig mit Werten hinreichender Wahrscheinlichkeit. Fur jeden dem 

Vektorquantisierer zugeleiteten normierten Intensitat / wird aus der Menge der 
Code-Book-Vektoren (a),} ein Gewinner gemalJ einer Vorschrift 

a> = winner(J) ermittelt. In der Regel wird zur Fehlerminimierung der 
euklidische Abstand zwischen Reiz 7 und Code-Book {&>;} zur 
Gewinnerermittlung gemalJ 
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5 = min(|r-fiJ.||) 

genutzt. Gemali der Verarbeitungsvorschrift 

5) = a> + e(t)(i - co) 

wird dieser Gewinner adaptiert In diesem Kontext ist s(t) eine Lernrate, die 
oft uber die Betriebsdauer des Vektorquantisierers reduziert wird. Bei 
konstanter Lernrate bleibt der Vektorquantisierer adaptiv, bei Nutzung einer zu 
der Anzahl Gewinne invers proportionalen Lernrate erhalt man das so 
genannte „k-Means" Verfahren, das sich exakt in die Mittelwerte der 
Verteilung legt, durch die Wahi exponentiell abnehmender Lernraten kann 
man beliebige Zwischenzustande erzeugen aber auch andere Varianten 
werden angewandt. 

Beim so genannten weichen Wettbewerbslernen werden nicht nur die 
Gewinner adaptiert, sondern weitere, eventuell sogar alle Code-Book- 
Vektoren. 

Eine Auspragung ist der so genannte „Neuronales Gas" Algorithmic, bei dem 
ein Ranking der Gewinner auf der Basis der Gewinnerfunktionen die auch bei 
harten Wettbewerbslernverfahren durchgefuhrt wird. Auf der Basis dieses 
Ranking berechnet eine Adaptionsfunktion den Grad der Adaption wobei der 
Gewinner mit dem besten Rank mehr adaptiert wird als ein Gewinner mit 
geringerem Rank. Oft wird der Adaptionseinfluss uber die Zeit reduziert. In 
einer Abwandlung namens „Growing Neura! Gas" wird uber ein 
Informationstechnisches bzw. Fehlerminimierungskriterium die Anzahl der 
Vektoren im Code-Book erhoht, bis eine hinreichende Operation gewahrleistet 
ist. 

Bei der Auspragung „Selbstorganisierende Merkmalskarte" wird den Code- 
Book Vektoren eine Topologie uberlagert. Wahrend des Lemvorgangs wird 
immer eine Nachbarschaft des Gewinners mitadaptiert, wobei in der Regel 
nahere Nachbarn mehr und weiter entfernte Nachbarn weniger adaptiert 
werden und der Einfluss des Nachbarschaftslernens uber die Zeit reduziert 
wird. Dies ist Vergleichbar mit einem x-dimensionalen Gummituch, das man in 
die Verteilung knautscht ohne das es zerreiGt. Der Vorteil dieses Verfahrens 
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ist die Erhaltung topologischer Eigenschaften. 

Neuere Ansatze charakterisieren sich durch Mischformen, in denen 
Topologieerhaltung durch den Vektoren uberlagerte Graphen wie bei der 
Selbstorganisierenden Merkmalskarte mit Wachstumskriterien wie beim 
5 Growing Neural Gas verknupft werden. Beispiele sind z.B. „Growing Cell 
Structures", „Growing Grid". 

Die Vektoren im Codebook und das Adaptionsverfahren werden in einem 
derartigen Setup vor dem Experiment bei der Initialisierung vorgegeben. Dies 
kann von Anwendung zu Anwendung variieren. Bei der Belegung des 
10 Vektorquantisierers gibt es mehrere Varianten: Ein Vektorquantisierer 58, der 
exakt so viele Codebook Vektoren hat wie Kanale und die in der Reihenfolge 
der Kanale mit orthonormalen Einheitsvektoren des Kanalraums vorinitialisiert 
sind Oder ein Vektorquantisierer 58, der fur jeden Kanal einen orthonormalen 
Einheitsvektor und fur jeden mdglichen Mischzustand einen schragen 
15 (diagonalen im Signalraum) Einheitsvektor hat. Diese Variante arbeitet 
statistisch stabiler bei Auftreten von Kolokalisationen. Ferner lasst sich durch 
Hinzunahme eines Zahlers (nicht dargestellt), der zahlt wie haufig welcher 
Code-Book Vektor verandert wurde, dazu nutzen, urn Kolokalisationen 
aufzuspuren. Der Zahler kann fur einfache statistische Signifikanztests 
20 herangezogen werden, da die Anzahl der Adaptionsschritte die Haufigkeit 
korrespondierender Messwerte entspricht. In der Verarbeitungseinheit 46 wird 
auf diese Art ein Abgleich von Messwerten und Reprasentationen 
durchgefuhrt, wobei wir die Reprasentationen auch Code-Book Vektoren 
nennen, wie es in der mathematisch-technischen Literatur uber 
25 Vektorquantisierer ublich ist. Diese Code-Book-Vektoren werden als 
Reprasentationen von Spuren lokaler Korrelation mit einem entsprechenden 
Mittel aus der Verarbeitungseinheit 46 ausgelesen. Wie angedeutet werden 
fur die Verarbeitung die einlaufenden normierten Vektoren (Intensitatsvektor 
I) mit den Code- Book-Vektoren verglichen, um die Code-Book-Vektoren 
30 den einlaufenden Vektoren immer etwas ahnlicher zu machen und die 
Reprasentationen an die Eingangsverteilung anzupassen. Diesen Vorgang 
nennt man Reprasentationsbildung oder auch kurz Lernen. In der bevorzugten 
Ausfuhrungsform, wie in Fig. 2 dargestellt, werden die gemessenen 
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Intensitaten /* ... ,h zu einem Intensitatsvektor I zusammengefasst. 
Gemessen werden die Intensitaten h, ... ,/„ mit dem mindestens einen 
Detektor, der dem Scanmikroskop 100 zugeordnet ist. Aus dem 
Intensitatsvektor I wird eine Norm berechnet. Es werden nur 
Intensitatsvektoren I betrachtet, deren Betrag grolier als ein vorgegebener 
Schwellwert SW ist, urn Bildhintergrund, Rauschen, schlecht ausgepragte 
Kolokalisationen auszuschlieften und nicht der nachfolgenden Berechnung 
zuzufiihren. Ist der Betrag zu klein, werden diejenigen Intensitatsvektoren I 
aussortiert. Diejenigen Intensitatsvektoren I, die nicht aussortiert wurden, 
werden normiert, was der Projektion eines n-dimensionalen Problems auf die 
(n-l)-Dimensionale Teilflache der Einheitshyperkugel im positiven Quadranten 
gleichkommt, wobei eine Position Korrelationsspuren im Originalraum 
hinreichend beschreibt. Alternativ kann man als mathematischen Trick auch 
eine Projektion auf die Ebene durch die Einheitsvektoren heranziehen, was 
eine Abkurzung bzw. Beschleunigung fur die Berechnung darstellt aber kleine 
und meist tolerierbare mathematische Fehler erzeugt. In der in Fig. 4 
beschriebenen Darstellungsweise, ist in jeder Ecke 56 des Dreiecks 55 jeweils 
eine Farbe lokalisiert. In der obersten Ecke 56a ist Rot, in der linken Ecke 56b 
ist Grun und in der rechten Ecke 56c ist blau. In dem hier dargestellten 
Beispiel wird anstatt der Projektion auf den Einheitskreis eine Projektion auf 
die Hyperebene durchgefuhrt (ansonsten musste man ein Dreieck mit Runden 
Kanten zeichnen, dass der Abwicklung des Einheitskreises aus dem drei- 
dimensionalen Raum in die Ebene entspricht). Dies erzeugt zwar kleine 
numerische Fehler, die aber unter den Rauschbedingungen nicht ins Gewicht 
fallen und eine rechnerische Auswertung lasst sich sehr viel schneller 
durchfiihren. 

Fig. 5 zeigt vier in einem Objekt 15 gemessene Farbstoffsspektren. Ein erstes 
Farbstoffsspektrum 60, ein zweites Farbstoffsspektrum 61, ein drittes 
Farbstoffsspektrum 62 und ein viertes Farbstoffsspektrum 63 bilden die 
Eckpunkte eines Polygons im projizierten Hyperraum. Durch oben 
beschriebene Transformation kann man einen (P-1) dimensionalen 
Vektorraum erzeugen. In diesem Vektorraum kann man die Darstellung 
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idealisiert beschreiben, um eine Vorschrift zur Identifikation der Farbstoffe in 
der zu untersuchenden Probe enthaltenen Farbstoffe zu erzielen. In Fig. 6 
sind zwischen den einzelnen Punkten des Polygons Verbindungen 64 
eingezeichnet, auf denen potentielle Mischzustande liegen konnen. In Fig. 7 
sind die Punktwolken der gemessenen Spektren 60a, 61a, 62a, 63a und 66a 
uberlagert dargestellt, wobei die Punktwolken hier durch Ellipsen dargestellt 
sind. Durch den Vergleich von Figur 6 und Figur 7 kann man das Prinzip des 
vorgeschlagenen Verfahrens erkennen: Die Muster der Punktwolken mussen 
mit dem theoretisch aus den Referenzspektren bestimmten Muster 
ubereinstimmen. Aus der Obereinstimmung, bzw. aus den Abweichungen der 
Ubereinstimmung lassen sich Aussagen uber die Farbstoffe und deren 
Mischzustande generieren. So lasst der Vergleich der Punktwolken 60a und 
61a (Fig7.) mit den Sollpositionen 60 und 61 (Fig. 6) weitestgehend die 
Aussage zu, dass es sich bei 60a um den Farbstoff 60 und bei 61a um den 
Farbstoff 61 handelt. Des Weiteren lasst sich aus der Form der Punktwolke 
61a die in Naherung eine Ellipse darstellt, ableiten, dass es evtl. eine 
Interaktion mit anderen Farbstoffen gibt, da eine schieflagige Hauptachse 
anscheinend Anteile von 60 und 63 hat. Hierbei ist uber die Interpretation 
allerdings Unklarheit. Die Punktwolke 66a lasst sich jedoch eindeutig als 
Mischzustand zwischen 60 und 61 klassifizieren, da die Punktwolke eindeutig 
auf der Verbindungslinie zwischen den Farbstoffspektren liegt. Um eine 
derartige Klassifizierung systematisch durchfuhren zu konnen, benotigen wir 
die in der Verarbeitungseinheit 46 durchgefuhrte Reprasentationsbildung. 
Fig. 8 beschreibt schematisch die Verwendung der Darstellung aus Fig. 7 zur 
Identifikation der Farbstoffen an Hand der gemessenen fiinf Spektren 60a, 
61a, 62a, 63a und 66a. L Farbstoffspektren 60b, 61b, 62b, 63b und 66b sind 
mit hinreichender Genauigkeit in einer Datenbank abgelegt des Speichers des 
Rechnersystems abgelegt. Diese Grafik verdeutlicht integriert die Erklarung 
die oben anhand der Fig. 6. u. 7. gegeben wurden. Die oben beschriebene 
Transformation wird auf die spektralen Pixel der gemessenen funf Spektren 
60a, 61a, 62a, 63a und 66a und auf alle in der Datenbank vorhandenen 
diskreten Farbstoffspektren 60b, 61b, 62b, 63b und 66b der Datenbank nach 
Anpassung auf das spektrale Abtastraster angepasst. Die in der in Fig. 8 
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eingezeichneten Linien 75 kennzeichnen einen ersten Bereich 70, e.nen 
zweiten Bereich 71 einen dritten Bereich 72 und einen vierten Bereich 73 im 
Hyperraum, die einem bestimmten Farbstoff zugeordnet werden. Diese 
Trennebenen im Merkmalsraum (Voronoi Tesselation) erhalt man durch d.e 
einfache Anwendung einer „Nachste Nachbar Klassifikation" auf jeden Punkt 
des Merkmalsraums. Eine mogliche Auswertung erhalt man durch d.e 
pixelweise Zuweisung eines Spektrums zur gehorigen Flache die zusammen 
mit einer geeigneten Farbkodierung eine Farbstofflandkarte in Form e.nes 
Bildes darstellt. Man kann dem Benutzer auch textuell auf dem Display 27 
Oder per Sprachausgabe mitteilen, welche Farbstoffe in der Probe vorhanden 
sind. 

Fig 9 beschreibt die Moglichkeit der Ermittlung der im Objekt vorhandenen 
Farbstoffe an Hand der gemessenen Spektren 60a, 61a, 62a, 63a und 66a. 
Hierzu werden die Zentren 67 der Punktwolken der gemessenen Spektren 
bestimmt. Dies geschieht vorteilhafterweise durch Vektorquantisierung und 
Reprasentationsbildung. Die Zuordnung der diskreten Farbstoffspektren 60b, 
61b 62b, 63b und 66b wird entsprechend der minimalen Distanz zum 
Zentrum der Punktwolken durchgefuhrt. In Fig. 9 sind richtige Zuordnungen 
mit dem Bezugszeichen 76 bezeichnet. Falsche Zuordnungen werden mit 
dem Bezugszeichen 77 bezeichnet. 

Fig 10 beschreibt eine andere Moglichkeit der Zuordnung der diskreten 
Farbstoffspektren zu den gemessenen Spektren 60a, 61a, 62a. 63a und 66a. 
Hierzu wird fur jede Punktwolke der gemessenen Spektren 60a, 61a, 62a, 63a 
und 66a ein Schwerpunkt 80 bestimmt. Dies geschieht vorteilhafterweise 
durch Vektorquantisierung und Reprasentationsbildung Die in Fig. 10 
eingezeichneten Hyperebenen 81 im Hyperraum sind die Zuteilungsgrenzen. 
Diese Zuteilungsgrenzen werden an Hand des Abstandes der Schwerpunkte 
untereinander ermittelt und man erhalt so genannte Teilbereich 82, 83, 84, 85 
und 86 im Hyperraum. Einzeile Punktwolken in den Teilbereichen 82, 83, 84, 
85 und 86 werden als multidimensionale Normalverteilung N (s, V) m.t Co- 
Varianzmatrix modelliert. Dies kann mathematisch als Fit realisiert sein, 
geschieht aber praktischerweise durch die direkte Berechnung der Co- 
Varianzmatrix als Erwartungstreuer Schatzer. Dies modelliert im wesentlichen 
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die in alien Figuren eingezeichneten Ellipsen als Punktwolke. Eine 
Eigenwertanalyse der Co-Varianzmatrix wird durchgefuhrt. Die Eigenwerte 
und Eigenvektoren der Punktwolken werden gesammelt und anschliefcend 
erfolgt die Farbstoffzuordnung, wobei die Schwerpunkte moglicht nahe an den 
5 Farbstoffspektren liegen. Da die Eigenvektoren der Co-Varianzmatrix bei 
Mischung eine ausgepragte Richtung haben und nicht wie bei Rauschen 
gleichformig ausgepragt sind, kann man diese zusatzlich zur Klassifikation 
heranziehen welche Mischprozesse zwischen Farbstoffen stattfinden. 

In Fig. 11 sind die Eigenvektoren 90a, 90b einer Punktwolke 90 eines 
10 gemessenen Spektrums dargestellt. In Fig. 12 werden diese Eigenvektoren 
zur Zuordnung der L Farbstoffspektren zu den gemessenen Spektren 
verwendet. Mit Hilfe dieser Eigenvektoren ist eine eindeutige Zuordnung 
mdglich. Das gemessene Spektrum 63a liegt in dem dargestellten Beispiel 
unentscheidbar zwischen den Farbstoffen 63b und 62b. Durch die 
15 Hinzunahme der Richtung der Eigenvektoren als Statistik zweiter Ordnung, 
kann man schlieRen dass die so herausgefundene Richtung (Gerade C) eher 
parallel zu einer Mischung von 60b und 63b passt (Gerade A) als zu einer 
Mischung von 60b und 62b (Gerade B). Aus diesem Grund wird es wohl eher 
der Farbstoff 63b sein und die Alternative 62b fallt weg. Diese Art der Aussage 
20 ist mit dem bisher bekannten Stand der Technik nicht moglich. 

Nach der Ermittlung der Farbstoffkonzentration kann man auf die 
Intensitatsbasen zuruckrechnen, eine Pseudoinverse berechnen und die 
Messwerte korrigieren. Diese Anwendungen sind im Stand der Technik in der 
Astronomie und der Mikroskopie unter den Stichworten „Linear Unmixing" 
25 bekannt. 



Die Erfindung wurde in Bezug auf eine besondere Ausfuhrungsform 
beschrieben. Es ist jedoch selbstverstandlich, dass Anderungen und 
Abwandlungen durchgefuhrt werden konnen, ohne dabei den Schutzbereich 
30 der nachstehenden Anspruche zu verlassen. 
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R Q -7iiq gzelchenliste: 

1 Beleuchtungssystem 
3 Beleuchtungslichtstrahl 
5 Umlenkmittel 
5 6 Beleuchtungspinhole 

7 Scanmodul 

8 mikrostrukturiertes Element 






10 


Laser 


10 


12 


ScanoptiK 




13 


Mikroskopoptik 




15 


Objekt 




17 


Detektionslichtstrahl 




18 


Detektionspinhole 


15 


20 


SP-Modul 




23 


Rechnersystem 




24 


Speicher 




25 


Software 




27 


Peripheriegerat 


20 


29 


Einstellvorrichtung 




30 


Maus 




31 


Prisma 
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32 aufgespaltener Lichtfacher 

33 Fokussieroptik 

34 Spiegelblendenanordnung 

35 Spiegelblendenanordnung 
5 36 Detektor 

37 Detektor 

38 Detektor 




41 Einstellelement 



10 


45 


elektronische Einrichtung 




46 


Mittel zum Auswahlen 




50 


Messwert 




51 


Intensitatsraum 




52 


Projektionsraum 


15 


53 


Pyramide 




54 


Einheitskreis 




55 


Dreieck 




56 


Ecken des Dreiecks 55 




56a 


obersten Ecke ist Rot 


20 


56b 


linke Ecke ist Grun 




56c 


rechte Ecke ist blau 



60 erstes Farbstoffsspektrum 
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60a 


gemessenes Spektrum 




60b 


diskretes Farbstoffspektrum 




61 


zweites Farbstoffsspektrum 




61a 


gemessenes Spektrum 


5 


61b 


diskretes Farbstoffspektrum 




62 


drittes Farbstoffsspektrum 




62a 


gemessenes Spektrum 




62b 


diskretes Farbstoffspektrum 




63 


viertes Farbstoffsspektrum 


10 


63a 


gemessenes Spektrum 




63b 


diskretes Farbstoffspektrum 




64 


Verbindungen des Polygons 




66a 


gemessenes Spektrum 




67 


Zentren der Punktwolken 


15 


70 


erster Bereich 




71 


zweiter Bereich 




72 


dritter Bereich 




73 


vierter Bereich 




75 


Linien 


20 


76 


Zuordnungen richtig 




77 


Zuordnungen falsch 




80 


Schwerpunkt 
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81 


Linien im Hyperraum 


82 


Teilbereich im Hyperraum 


83 


Teilbereich im Hyperraum 


84 


Teilbereich im Hyperraum 


5 85 


Teilbereich im Hyperraum 


86 


Teilbereich im Hyperraum 


90 


Punktwolke 


90a 


Eigenvektor 


90b 


Eigenvektor 


10 100 


Scanmikroskop 
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Patontanspruche 



1 Mikroskopsystem zur Analyse und Auswertung von 

Mehrfachfarbungen in einem mikroskopischen Objekt (15), mit einen 
Scanmikroskop (100), das einen Beleuchtungslichtstrahl (3) und einen 
Detektionslichtstrahl (17) definiert, einem SP-Modul (20), das im 
Detektionslichtstrahl (17) vor mindestens einem Detektor (36, 37) angeordnet 
ist, und ein Rechnersystem (23), wobei das Rechnersystem (23) ebenfalls 
einen Speicher umfasst, dadurch gekennzeichnet, dass eine Datenbank 
vorgesehen ist, in der diskrete Farbstoffspektren abgelegt sind, dass das 
Rechnersystem (23) eine Software umfasst, die eine Transformation der 
Daten der ermittelten Spektren und eine Transformation der in der Datenbank 
abgelegten Farbstoffspektren (60b, 61b, 62b, 63b und 66b) durchfuhrt, und 
dass die Software die im transformierten Farbstoffspektren (60b, 61b, 62b, 
63b und 66b) zu den gemessenen Spektren (60a, 61a, 62a, 63a und 66a) 
zuordnet, wobei ein Vergleich durchfuhrbar ist. 

2. Mikroskopsystem nach Anspruch 1, dadurch gekennzeichnet, dass 
der Vergleich durch ein Distanzmali in einem Projektionsraum erfolgt. 

3. Mikroskopsystem nach Anspruch 1, dadurch gekennzeichnet, dass 
der Vergleich durch die Distanz und die Ausrichtung lokaler Cluster im 
Projektionsraum erfolgt. 

4 Mikroskopsystem nach Anspruch 1,2 oder 3, dadurch 

gekennzeichnet, dass die transformierten Daten auf einem Display darstellbar 
sind. 
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5. Verfahren zur Analyse und Auswertung von Mehrfachfarbungen in 
einem mikroskopischen Objekt (15) mit einem Scanmikroskop (100), 
gekennzeichnet durch die folgenden Schritte: 

a) Aufnehmen von Spektren (60a, 61a, 62a, 63a und 66a) der im Objekt 
(15) vorhandenen Farbstoffe mit einem SP-Modul (20) und ermitteln 
der die Spektren reprasentierenden elektrischen Signale; 

b) Durchfuhren einer Transformation der Daten der ermittelten Spektren, 
Durchfuhren der Transformation der in einer Datenbank abgelegten 
Farbstoffspektren (60b, 61b, 62b, 63b und 66b); 

c) Aufteilen des Transformationsraumes in Bereiche (70, 71, 72 und 73), 
von denen jeder einem bestimmten Farbstoff zugeordnet ist; und 

d) Zuordnen der Farbstoffspektren (60b, 61b, 62b, 63b und 66b) zu den 
gemessenen Spektren (60a, 61a, 62a, 63a und 66a) durch einen 
Vergleich im Transformationsraums. 

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der 
Vergleich der ermittelten Spektren mit den Referenzspektren auf der Basis 
eines Distanzmalies erfolgt. 

7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der 
Vergleich der ermittelten Spektren mit den Referenzspektren auf der Basis 
eines Distanzmalies und der Richtungen der Eigenvektoren der Co- 
Varianzmatrix erfolgt. 

8. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das 
Zuordnen der Farbstoffspektren zu den gemessenen Spektren an Hand der 
„Next Neighbor Methode" im Transformationsraum erfolgt. 
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Zusammenfassung 



Es ist ein Mikroskopsystem und ein Verfahren offenbart, das Spektren (60a, 
61a, 62a, 63a und 66a) der im Objekt (15) vorhandenen Farbstoffe mit einem 
SP-Modul (20) aufnimmt. Es wird eine Transformation der Daten der 
ermittelten Spektren und der in einer Datenbank abgelegten Farbstoffspektren 
(60b, 61b, 62b, 63b und 66b) durchgefuhrt. Die Spektren werden in einen 
entsprechend in einen aufgeteilten Transformationsraum eingetragen. Das 
Zuordnen der Farbstoffspektren (60b, 61b, 62b, 63b und 66b) zu den 
gemessenen Spektren (60a, 61a, 62a, 63a und 66a) erfolgt durch einen 
Vergleich im Transformationsraums. 



Fig. 8 
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